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(54) Title: METHOD AND DEVICE FOR CONVERTING VIDEO SIGNALS 



(54) Bezeichnung: VERFAHREN UND VORRICHTUNG ZUR KONVERSION VON VIDEO SIGNALEN 



(57) Abstract: The invention relates to a method and a device for movement vector assisted conversion of a first video signal contain- 
ing a first image sequence at a first frequency into a second video signal containing a second image sequence at a second frequency. 
At least some of the images in the second image sequence, which are phase shifted in relation to the first image sequence, are formed 
by a interpolation of images in the first image sequence in such a manner that, pixel points of at least one first image and a second 
image are filtered by means of a median filter, for a pixel of an image in the second image sequence median. The median filter is an 
00 adaptively weighted median filter. 

in 



(57) Zusammenfassung: Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur bewegungsvektorgestiitzten 
Konversion eines ersten Videosignals, das eine erste Bildfolge mit einer ersten Frequenz enthalt, in ein zweites Videosignal, das eine 
zweite Bildfolge mit einer zweiten Frequenz enthalt, wobei wenigstens einige Bilder der zweiten Bildfolge, die phasenverschoben 
gegeniiber Bilder der ersten Bildfolge sind, durch eine Interpolation von Bildern der ersten Bildfolge derart gebildet werden, dass fur 
einen Bildpunkt eines Bildes der zweiten Bildfolge Bildpunkte wenigstens eines ersten Bildes und eines zweiten Bildes der ersten 
Bildfolge mittels eines Medianfilters gefiltert werden, wobei das Medianfilter ein adaptiv gewichtetes Medianfilter ist. 
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Be schr e ibung 

Verfahren und Vorrichtung zur Konversion von Videosignalen 

5 Die vorliegende Erfindung betrifft ein Verfahren und eine 
Vorrichtung zur Konversion von Videosignalen. 

Zur optimalen Darstellung von Videosignalen in einem Bild ist 
ein im zeitlichen und ortlichen Abtastraster an das zur Dar- 

10 stellung der Abbildung verwendete Display oder die zugrunde- 
liegende Multimediaumgebung angepasstes Bildformat erforder- 
lich. Hierzu ist es haufig erf orderlich, eine zeitliche 
und/oder ortliche Konversion zwischen verschiedenen Videofor- 
maten vorzunehmen. Die zeitliche Konversion umfasst dabei 

15 insbesondere die Erzeugung von Bildern mit einer Bildfre- 

quenz, die von der Bildfrequenz eines ursprunglichen, zu kon- 
vertierenden Videosignal abweicht . Die ortliche Konversion 
kann insbesondere das Erzeugen von Bildinf ormationen fur Zwi- 
schenzeilen eines Halbbildes zur Generierung eines Vollbildes 

20 umfassen. 

Bei der Entwicklung von Interpolationsverf ahren fur Bewegt- 
bildsequenzen wird insbesondere auf eine flussige Bewegungs- 
darstellung sowie die Vermeidung von Interpolationsartef akten 
25 oder Auf losungsverlusten Wert gelegt. 

Stand der Technik 

Zu Verfahren und Vorrichtungen zur Konversion von Videosigna- 
len existiert ein umf angreicher Stand der Technik, der im 
3 0 folgenden zum besseren Verstandnis der Erfindung erlautert 

wird. Aus Grunden der Ubersichtlichkeit en thai t die Beschrei- 
bung nur Verweise auf das jeweilige Dokument in eckigen Klam- 
mern. Eine Liste mit vollstandigen Angaben der zitierten Do- 
kument e findet sich am Ende der Beschreibung . 

35 

Fur die zeitliche und/oder ortliche Konversion existiert eine 
Vielzahl von Algorithmen, die sich im wesentlichen in stati- 
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sche, bewegungsadaptive und bewegungsvektorgestutzte Verfah- 
ren gliedern lassen, wobei jeweils lineare oder nichtlineare 
Interpolationstechniken verwendet werden konnen. 

5 Im Folgenden sollen verschiedene bestehende Verfahren zur 
ortlichen/zeit lichen Forma tkonvers ion kurz vorgestellt wer- 
den. Zunachst wird auf statische und bewegungsadaptive Ver- 
fahren eingegangen. AnschlieSend werden bewegungsvektorge- 
stutzte Verfahren betrachtet, die den Ausgangspunkt des er- 
10 f indungsgemaSen Verfahrens bilden. 

Statische und bewegungsadaptive Verfahren 

Es exist ieren mehrere statische bzw. lineare Verfahren zur 
For ma tkonvers ion, auf die aufgrund der mit vielen dieser Ver- 
15 fahren verbundenen Nachteile, wie z.B. Auf losungsverlust oder 
Bewegungsverschleif ung nur kurz eingegangen werden soil. 

Die einfachste Moglichkeit zur zeitlichen Formatkonversion 
besteht aus einer Bildwiederholung, die jedoch aufgrund der 

20 zeitlich nicht korrekten Darstellung von Bewegungen zu einer 
unbef riedigenden Bewegungswiedergabe mit Mehrf achkonturen o- 
der "ruckenden" Bewegungsablauf en fuhren. Eine lineare zeit- 
liche Tiefpassf ilterung fuhrt zu einer Bewegungsverschleif ung 
und ist daher zur Interpolation bewegter Bereiche ebenfalls 

25 wenig geeignet . 

Fur eine ortliche Konversion eines Zeilensprungsignals -also 
ein Signal, mit dem auf einanderf olgende zeilenverkammte Halb- 
bilder ubertragen werden-, in ein progressives Bildsignal 
30 -also ein Signal das Vollbilder enthalt-, die sogenannte 

ProScan -Konversion, existieren statische lineare Verfahren, 
die auf einer vertikalen oder zeitlichen Filterung beruhen. 

Da eine vertikale Tiefpassf ilterung zu einem Auf losungsver- 
35 lust in vertikaler Richtung fuhrt, und eine zeitliche Tief- 
passf ilterung eine Bewegungsverschleif ung in bewegten Bildbe- 
reichen bewirkt, wurden Verfahren entwickelt, die bewegungs- 
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adaptiv zwischen einer zeitlichen Filterung in unbewegten 
Bildbereichen und einer vertikalen Filterung in bewegten 
Bildbereichen umblenden. Derartige Verfahren sind in [9] er- 
lautert . 

5 

Aufgrund der Nachteile linearer Interpolationstechniken wur- 
den Verfahren entwickelt, die nichtlineare Medianfilter zur 
Interpolation verwenden. Der grundsatzliche Aufbau und die 
Funktion eines Medianf ilters ist beispielsweise in [11] be- 
10 schrieben. Medianfilter zur Bildverarbeitung sind beispiels- 
weise in [12] beschrieben. 

Bei der Medianf ilterung werden Eingangswerte des Filters der 
Grofie nach sortiert und der in der Mitte der sortierten Reihe 
15 liegende Wert ausgewahlt, wobei die Reihe ublicherweise aus 
Werten einer ungeraden Anzahl besteht. 

So wird in [1] ein Verfahren zur Proscan-Konversion vorge- 
stellt, das auf einer linearen vertikalen Bandauf spaltung des 

2 0 Videosignals in einen Hohenkanal und einen Tiefenkanal sowie 

der Anwendung komplementarer Medianfilter im Hohen- und Tie- 
fenkanal beruht . 

Die Grundlage fur die Anwendung einer ortlichen Bandaufspal- 
25 tung liegt darin, dass der menschliche Wahrnehmungssinn durch 
ein Zweikanalmodell beschrieben werden kann. Hierbei exis- 
tiert ein Tiefenkanal mit einer geringen ortlichen aber hohen 
zeitlichen Auf losung sowie ein Hohenkanal mit einer geringen 
zeitlichen aber hohen ortlichen Auf losung. 

30 

In [1] ist ein derartiges ortliches Konversionsverf ahren mit 
einer Bandauf spaltung beschrieben, bei dem eine fehlende Zwi- 
schenzeile in einem Halbbild erzeugt wird und das anhand von 
Figur 1 erlautert wird. Figur 1 veranschaulicht nach einer 

3 5 Bandauf spaltung in einen Tiefenkanal und eine Hohenkanal je- 

weils drei auf einanderf olge Halbbilder A lf B lf A 2 , wobei zwei 
auf einanderf olgende Halbbilder Ai und B x bzw. Bx und A 2 gegen- 
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einander versetzte Bildraster aufweisen. Die Zeilen, fur die 
jeweils Bildinf ormationen libertragen werden, sind durch Um- 
rahmungen gekennzeichnet . Das bekannte Verfahren sieht nun 
vor, die Bildinf ormation eines Bildpunktes (x,y), der in ei- 
ner Zwischenzeile liegt, in dem Halbbild Bi des Tief enkanals , 
das heiSt dem Halbbild zum Zeitpunkt T n , durch eine Median - 
filterung aus den in vertikaler Richtung benachbarten Bild- 
punkten (x,y-l) und (x,y+l) desselben Halbbildes und dem 
Bildpunkt an der Position (x,y) in dem darauf f olgenden Halb- 
bild A 2/ das heifit dem Halbbild zum Zeitpunkt Tn+1, zu erzeu- 
gen. Wenn P(.) die Bildinf ormationen des jeweiligen Bildpunk- 
tes darstellt, gilt fur Bildinf ormation des Bildpunktes (x,y) 
in dem Halbbild B x des Tief enkanals also: 



wobei Med{ . } fur die Medianf ilterung steht . 

Entsprechend wird die Bildinf ormation des Bildpunktes (x,y) 
in der Zwischenzeile des Halbbildes Bi in dem Hohenkanal er- 
zeugt durch: 



Wahrend fur die Interpolation der Bildinf ormation des Bild- 
punktes (x,y) in dem Tiefenkanal Bildinf ormationen von Bild- 
punkt en von nur zwei Halbbildern, namlich in Figur 1 der 
Halbbilder Bi und A 2 berucksichtigt werden, werden fur die 
Interpolation der Bildinf ormation des Bildpunktes (x, y) in 
dem Hohenkanal, der im wesentlichen Bilddetails enthalt, 
Bildinf ormationen von Bildpunkten von drei Halbbildern, nam- 
lich der Halbbilder A Xf Bi und A 2 verwendet . 



P(x,y,T n ) = Med -< 



P(x,y-l,T n ) 
P(x,y+l,T n ) 



(i) 




(2) 
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Die Filterung fur den Tiefenkanal ist vertikal (intraf ield- ) 
dominant f da zwei von drei berucksichtigten Bildpunkten in 
vertikaler Richtung in einem Bild iibereinander liegen. Die 
5 Filterung fur den Hohenkanal ist zeitlich (interf ield- ) bzw. 
rasterdominant, da die drei fur die Filterung berucksichtigen 
Bildpunkte drei zeitlich. aufeinander folgenden Halbbildern 
entstammen . 

10 Das vertikal dominante Medianf ilter im Tiefenkanal erlaubt 

eine recht gute Bewegungsdarstellung, z.B. bei horizontal be- 
wegten vertikalen Kanten. Es fuhrt allerdings zu Auflosungs- 
verlusten in vertikal hochf requenten, das heifit sich rasch 
andernden Bildbereichen, die im Tiefenkanal jedoch von unter- 

15 geordneter Bedeutung sind. Das im Hohenkanal verwendete ras- 
terdominante Medianfilter weist hingegen die im Hohenkanal 
geforderte hohe Vertikalauf losung auf, fuhrt jedoch in diesem 
Kanal zu einer schlechten Bewegungsdarstellung. Andere, auf 
modif izierten oder kantenrichtungsorientierten Medianf iltern 

20 basierende Verfahren werden in [1] vorgestellt. 

Das beschriebene Verfahren mit subbandbasierter Signalverar- 
beitung fur eine ortliche Konversion, namlich die Erzeugung 
von Zwischenzeilen, wurde auf eine zeitliche Auf wart skonver- 
25 sion von 50 Hz Zeilensprungsignalen auf 100 Hz Zeilensprung- 
signale erweitert, das heifet auf ein Konvers ions verfahren, 
bei dem aus Halbbildern, die mit einer Bildfolge von 50Hz 
vorliegen, Halbbilder mit einer Bildfolge von 100Hz erzeugt 
werden . 

30 

Das resultierende Interpolationsschema des Tiefenkanals fur 
die Interpolation eines mit bezeichneten Zwischenhalbbil- 
des, das zeitlich genau zwischen zwei Originalhalbbildern Ai 
und Bi liegt, ist in Figur 2 dargestellt und ist insbesondere 
35 in [1] und [4] erlautert . Dieses statische Interpolations- 
schema erlaubt eine positionsrichtige Interpolation von be- 
wegten Kanten oder anderen groEen Objekten innerhalb eines 
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bestimmten Geschwindigkeitsbereichs . Die Grundlage hierfiir 
liegt in der Kantenverschiebungseigenschaf t von Medianfil- 
tern, auf die noch naher eingegangen wird. 

5 Im Hohenkanal wird ein 5 -Tap Medianfilter fur die Zwischen- 
bildinterpolation eingesetzt. Dieses ist in Figur 3 verdeut- 
licht. Erkennbar werden hier im Gegensatz zum Tiefenkanal 
keine im Raster uminterpolierten Punkte dem Medianfilter zu- 
gefiihrt, urn einem im Hohenkanal kritischen vertikalen Auf 16- 
10 sungsverlust vorzubeugen. Jedes zweite Halbbild der Eingangs- 
folge wird dabei direkt als Halbbild fur die Ausgangsbildf ol- 
ge ubernommen. 

Fur eine detailliertere Ubersicht statischer und bewegungs - 
15 adaptive Verfahren zur Zwischenbildinterpolation wird weiter- 
hin auf [9] Bezug genommen. 

Bewegungsvektorgestiitzte Verfahren 

Selbst bei Anwendung des zuvor beschriebenen fehlertoleranten 

2 0 Interpolationskonzepts kann eine korrekte Bewegungsdarstel- 

lung im Zwischenbild bei statischen Interpolationsverf ahren 
nur bis zu einem bestimmten, von der Interpolationsmaskengro- 
fie abhangigen Geschwindigkeitsbereich erzielt werden. Zudem 
kann bei bewegten Bildinhalten im Hohenkanal auch bei raster- 
25 dominanten Medianf iltern ein Auf losungsverlust eintreten. 

Daher wurden zur hochqualitativen Interpolation von Bewegt- 
bildsequenzen Verfahren entwickelt, die eine bewegungsvektor- 
gestiitzte Interpolation durchfuhren. Hierbei wird durch ein 

3 0 geeignetes Bewegungs schat zver f ahren jedem Bildpunkt ein Bewe- 

gungsvektor (v x/ v y ) zugeordnet , der angibt, urn viele Raster- 
positionen in x-Richtung und y-Richtung sich ein gegebener 
Bildpunkt von einem Bild/Halbbild zum nachsten Bild/Halbbild 
bewegt hat. Eine Ubersicht uber geeignete Bewegungs schat zver- 
3 5 f ahren zur Zuordnung eines Bewegungsvektors zu einem Bild- 
punkt bzw. zu einer Gruppe von Bildpunkten ist beispielsweise 
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in dem Dokument [9] angegeben, auf das hiermit Bezug genommen 
wird. 

Durch eine Berucksichtigung eines solchen Bewegungsvektors 
5 bei der Interpolation bzw. durch eine bewegungsvektorgestiitz- 
te Adressierung der Interpolationsf ilter , wie sie schematisch 
in Figur 4 veranschaulicht ist, kann unter der Voraussetzung 
einer fehlerfreien Be wegungs s chat zung und einer rein transla- 
torischen Bewegung eine korrekte Interpolation auch in 
10 schnell bewegten Bildbereichen durchgefiihrt werden. 

Bezugnehmend auf Figur 4 ist es der Grundgedanke der bewe- 
gungsvektorgestutzten Interpolation, aus Positionen eines 
sich bewegenden Bildpunktes, in auf einanderf olgenden Bil- 
ls der/Halbbildern A n (T_i 0 ms) und B n (T_i 0m s) einen Bewegungsvektor 

Vahbu zu ermitteln, der angibt, urn wie viele Rasterpunkte sich 
der Bildpunkt bewegt hat, und in Kenntnis der Bildinf ortnation 
des sich bewegenden Bildpunktes und des Bewegungsvektors in 
einem oder mehreren Zwischenbildern, die zeitlich zwischen 
20 den aufeinander f olgenden Bildern/Halbbildern A n (T_i 0 ms) und 

Bn(T- 10 ms) liegen, Bildpunkte zu interpolieren, die auf dem Weg 
des Bewegungsvektors zwischen den Positionen in den Bil- 
dern/Halbbildern A n (T-i 0ms ) und B n (T-xoms) liegen. 

25 Ebenso wie bei der statischen und bewegungs adapt iven Interpo- 
lation existieren fur die bewegungsvektorgestutzte Interpola- 
tion lineare sowie nichtlineare Verfahren. 

Unter der Annahme, dass die Positionen des sich bewegenden 
3 0 Bildpunktes also der Anfangs- und der Endpunkt des Bewegungs- 
vektors in den Bildern/Halbbildern A n (T-i 0 ms) und B n (T-i 0 ms), und 
damit der Bewegungsvektor, exakt bekannt sind, geniigt es, bei 
einem einfachen* linearen Verfahren eine einfache Verschiebung 
oder auch eine lineare Mittelung durchzuf iihren werden. In [5] 
35 wird ein subbandbasiertes Interpolationsverf ahren vorge- 

stellt, bei der im Tiefenkanal eine Mittelung zwischen den 
beiden durch den Start- und Zielpunkt des Bewegungsvektors 
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adressierten Bildpunkten durchgef iihrt wird, das heiJSt fur die 
Bildinf ormation eines Bildpunktes (x,y) in einem Zwischenbild 
iS n gilt: 

5 P0(x,y,T o ) = %[A n (x-v x /2 / y-v y /2 / T- 10 m S ) + B n (x+v x /2 , y+V y /2 , T + i 0m s) , 

wobei A n (x-v x /2 , y-v y /2 , T-ioms) / die Bildinf ormation des Bild- 
punktes in der Halbbildf olge An zum Zeitpunkt T_i 0 ms bezeich- 
net, der den Ausgangspunkt des Bewegungsvektors darstellt, 
10 und wobei B n ( x+ vx / 2 , y+v y / 2 , T +10ms ) die Bildinf ormation des 

Bildpunktes in der Halbbildf olge B n zum Zeitpunkt T + i 0m s be- 
zeichnet, der den Endpunkt des Bewegungsvektors darstellt. v x 
und v y sind die Komponenten des geschatzten Bewegungsvektors 
VAnBn fur den Bildpunkt (x-v x /2 , y-v y /2) in dem Halbbild A n (T_ 

15 10ms) • 

Im Hohenkanal wird in [5] die Bildinf ormation des Zwischen- 
bildes durch eine vektorgestiitzte Verschiebung ermittelt, das 
heifit fur die Bildinf ormation eines Bildpunktes (x,y) in ei- 
20 nem Zwischenbild & n gilt: 

P0(x,y,T o ) = A n (x-v x /2 / y-v y /2 / T_ 10m s) 
oder 

25 

P^(x,y,T 0 ) = B ri (x+v x /2 / y+v y /2 / T + io ms ) . 

Dieses Verfahren weist jedoch bei f ehlerhaf ten, also bei 
nicht richtig geschatzten Bewegungsvektoren, nur eine geringe 
3 0 Fehlertoleranz auf . 

Deshalb wird in [6] ein nichtlineares Interpolationsverf ahren 
basierend auf einem 3 -Tap Medianf ilter vorgestellt. Hierbei 
ermittelt sich die Bildinf ormation eines Bildpunktes (x,y) 
3 5 eines gemaS Figur 4 zu interpolierenden Zwischenbildes (3 

durch eine Medianf ilterung von Bildinf ormationen des Anfangs- 
punktes und des Endpunktes des Bewegungsvektors und eines 
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Mittelwertes der Bildinf ormationen von Anfangs- und Endpunkt 
wie folgt: 



P /8 (x / y,T n )=Med< 



A n (X-V x / 2 , y-Vy/2 , T_ 10m s 
1/2 [A n (x, y, T-ionw) +B n (x, y , )] 
L B n (x+v x / 2 , y+v y /2 f T + i 0m s ) 



(3) 



Im Falle eines korrekt geschatzten Vektors sind die im Bild 
A n und dem Bild B n anhand des Bewegungsvektors ausgewahlten 
Bildpunkte -die Anfangs- und Endpunkte des Bewegungsvektors - 
identisch und bilden somit den Ausgangswert des Medianf il- 
ters. Bei fehlerhafter Bewegungs s cha t zung , wenn also die An- 
fangs- und Endpunkte des Bewegungsvektors nicht dieselbe 
Bildinf ormation enthalten, ergibt sich als Ruckf allmodus eine 
lineare Bildmittelung und somit eine Bewegungsunscharf e . 

Die bisher beschriebenen vektorgestutzten Zwischenbildinter- 
polationsverf ahren besitzen keine ausreichende Toleranz ge- 
geniiber fehlerhaften Schatzungen des Bewegungsvektors, also 
gegeniiber Vektorf ehlern . Eine Verbesserung der Bildqualitat 
der interpolierten Bilder ist durch die Verwendung gewichte- 
ter vektorgestutzter Medianf ilter moglich, wie sie beispiels- 
weise in den in [1,2,3] erlauterten Verf ahren beschrieben 
sind. 

Hierbei wird ebenfalls wie in dem in [4] beschrieben, nicht 
vektorgestutzten Verfahren eine ortliche Bandauf spaltung 
durchgef iihrt . 

Das Interpolationsschema fur den Tiefenkanal ist in Figur Ab- 
bildung 5 dargestellt. Einem Medianf ilter werden dabei Bild- 
inf ormationen von mehreren Bildpunkten zugefuhrt, die um den 
Anfangs -Bildpunkt des Bewegungsvektors VAnBn in dem Halbbild 
A n (T. 10ms ) und die um den End-Bildpunkt des Bewegungsvektors 
VAnBn in dem Halbbild B n (T +10 ms) liegen. Weiterhin werden dem 
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Medianf ilter als sogenannte rekursive Elemente Bildinf ormati- 
onen bereits ermittelter benachbarter Bildpunkte des Zwi- 
schenbildes /3 n zugef uhrt . Zur Veranschaulichung sind dem Me- 
dianfilter in Figur 5 jeweils die Bildinf ormationen von neun 
Bildpunkten des Halbbildes A n (T-ioms) / neun Bildpunkte des 
Halbbildes B n (T + i 0m s) und drei Bildpunkte des Zwischenbildes 
jS n (T 0 ) zugef uhrt. Die dem Medianf ilter zugef uhrten Bildinf or- 
mationen konnen unterschiedlich gewichtet sein, wobei der Ge- 
wichtungsf aktor angibt, wie oft die Bildinf ormation eines 
Bildpunktes dem Medianf ilter zugef uhrt wird. 

Die zu interpolierenden Bildpunkte des Tiefenkanals berechnen 
sich gemaS 



PpUtYrTp) = Med 



Wah 0 PAn(x-v x /2 / y-v y /2 / T An r 
W Bn 0 Pbr (x+v x /2,y+v 7 /2 / T B n) 

W^n 0 P^nfx-l^Tfn) 



(4) 



Hierbei beschreiben W^, W Bn und W^n Masken urn die jeweiligen 
vektoradressierten Bildpunkte und 0 bezeichnet den Duplikati- 
onsoperator, der angibt, wie oft ein Abtastwert in die Fil- 
termaske gefuhrt wird. Die Bildpunkte, in den Halbbildern 
An(T- 10 ms) und B n (T + ioms)/ um die Filtermasken gelegt sind, sind 
gegenuber dem zu interpolierenden Bildpunkt (x,y) in dem Zwi- 
schenbild i8 n (T 0 ) jeweils um einen Anteil des Bewegungsvektors 
verschoben, wobei dieser Anteil in Figur 5 dem halben Bewe- 
gungsvektor entspricht, da das zu interpolierende Zwischen- 
bild jS n (T 0 ) zeitlich genau in der Mitte zwischen den Halbbil- 
dern A n (T-ioms) und B n (T +10ms ) liegt. 



Falls der Bewegungsvektor in einem der Halbbilder auf eine 
Bildzeile zeigt, die in dem entsprechenden Halbbild nicht e- 
xistiert, findet eine lineare Uminterpolation statt, wie dies 
in [9] beschrieben ist. 

Der Vorteil der vektorgestutzten gewichteten Medianfilter be- 
steht darin, dass sie fehlerhafte Bewegungsvektoren bis zu 
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einer bestimmten Fehlergrofie korrigieren konnen. Dies ist von 
groSer Bedeutung, da in naturlichen Bildsequenzen Vektorfeh- 
ler nicht zu vermeiden sind. 

5 Die Eigenschaft der Korrektur von Vektorf ehlern soil anhand 
des Modells einer horizontal bewegten idealen vertikalen Kan- 
te zwischen hellen und dunklen Bildpunkten anhand von Figur 6 
verdeutlicht werden, wobei ein fehlerhafter Bewegungsvektor 
geschatzt wurde . In Figur 6 sind jeweils eine Zeile der Halb- 
10 bilder A n/ B n sowie des Zwischenbildes S n sowie die jeweiligen 
fehlerhaft geschatzten Vektoren dargestellt. 

Fur das Beispiel wird davon ausgegangen, dass sich die Mo- 
dellkante mit einer Geschwindigkeit von v xr eai = 4 Pi- 

15 xel/Halbbild bewegt, dass die Geschwindigkeit aber fehlerhaft 
zu v xmeS s = 0 Pixel/Halbbild geschatzt wurde, so dass die Me- 
dianmasken im Vorganger- und Nachf olgerbild daher an der 
gleichen Stelle positioniert werden, wohingegen die Masken 
korrekterweise urn 4 Pixel gegeneinander verschoben positio- 

20 niert sein mussten. 

Dem Medianfilter werden in dem Beispiel nach Figur 6 die 
Bildinf ormationen von sieben Bildpunkten des Halbbildes A n 
einschliefilich des den Beginn des dunklen Bereiches nach der 

25 Kante markierenden Bildpunktes x 0 zugefuhrt, die innerhalb 

einer Auswahlmaske liegen, wobei die Maske unter der Bildzei- 
le fett umrandet dargestellt ist. Weiterhin werden dem Medi- 
anfilter die Bildinf ormationen von sieben Bildpunkten des 
Halbbildes B n zugefuhrt, die innerhalb einer Auswahlmaske 

30 liegen, die uber der Bildzeile fett umrandet dargestellt ist, 
wobei die Positionen dieser Bildpunkte den Positionen der be- 
riicksichtigten Bildpunkte des Halbbildes A n entsprechen, da 
die Auswahlmaske aufgrund der nicht korrekten Bewegungsschat- 
zung nicht verschoben wurde. Wie ersichtlich ist, werden dem 

35 Medianfilter die Bildinf ormationen bzw. Helligkeitsinf ormati- 
onen von acht dunklen Bildpunkten nach der Kante und sechs 
hellen Bildpunkten vor der Kante zugefuhrt. Das Ergebnis der 
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Medianf ilterung dieser Bildpunkte ist selbst bei einheitlich 
gewichteten Auswahlmasken ein dunkler Bildpunkt, der an der 
Position x in dem Zwischenbild interpoliert wird. 

5 Durch das Medianfilter wird die Kante im Zwischenbild /3 n/ das 
zeitlich in der Mitte zwischen den Halbbildern A n , B n liegt, 
trotz der fehlerhaften Bewegungsvektoren korrekt auf eine Po- 
sition interpoliert, die der halben Strecke zwischen der Kan- 
te in dem Halbbild A n und der Kante in dem Halbbild, B n ent- 
10 spricht, wie durch Bildung der Luminanzbilanzen zwischen den 
hellen und dunklen Bildpunkten uberpruft werden kann. 

Ein lineares Interpolationsf ilter wiirde hingegen zu einem 4 
Pixel breiten Bereich mit mittlerer Helligkeit und somit zu 
15 einem deutlichen Verschleifen der Kante fiihren [9] . 

Neben dem Verhalten bei korreliertem Bildsignal, wie z.B. 
Kanten oder Flachen kann auch das Verhalten bei nicht korre- 
liertem Bildsignal (z.B. unregelmaSige Texturen) untersucht 

20 werden. Es zeigt sich, dass die gewichteten Medianfilter bei 
geeigneter Wahl der Filtergewichte in der Lage sind, bei kor- 
rekter Bewegungsschatzung die Details des nicht korrelierten 
Bildinhalts zu erhalten. Bei falsch geschatztem Vektor findet 
eine Ausloschung feiner Details statt, was gemaS [1] fur eine 

25 50 Hz auf 100 Hz Konversion gegenuber einer positionsf alschen 
Darstellung zu bevorzugen ist. 

Als Medianmasken im Tiefenkanal werden in dem Verfahren gemaS 
[1,2,3] die in Figur 8 dargestellten Masken verwendet . Dabei 

3 0 wird fur die aus den Halbbildern A n und B n auszuwahlenden 

Bildpunkte eine sternformige Auswahlmaske verwendet, wobei 
die Anfangs- und Endpunkte des Bewegungsvektors V^En jeweils 
mit dem Faktor 5 starker als die umliegenden Werte (Faktor 1) 
gewichtet werden. Dem Medianfilter wird zudem die Bildinfor- 

35 mation eines bereits ermittelten Bildpunktes des Zwischenbil- 
des zugef uhrt . 
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In aufgedeckten Bildbereichen findet im Tiefenkanal eine 3- 
Tap Medianf ilterung statt [3] . 

Fur den Hohenkanal finden bei den Verfahren nach [1/2,3] wie 
5 schon beim statischen Verfahren gemafi [4] rasterdominante Me- 
dianf ilter Anwendung, nur dass diese nun vektoradressiert 
werden. Dieses Verfahren ist in Figur 8 dargestellt, die [3] 
entnommen ist . 

10 In [10] wird eine IC-Realisierung eines Zwischenbildinterpo- 
lationsverf ahrens basierend auf gewichteten Medianf iltern 
dargestellt. Ein IC zur Formatkonversion beruhend auf einem 
zuverlassigkeitsgesteuerten Medianfilter wird in [7] be- 
schrieben. 

15 

In [8] wird ein Interpolationsverf ahren vorgestellt, das e- 
benfalls auf gewichteten Medianf iltern basiert. Hierbei fin- 
det jedoch keine H6hen-/Tief entrennung statt, und es wird 
keine lineare Uminterpolation durchgef uhrt , falls der Vektor 

20 eine im Halbbild nicht vorhandene Zeile adressiert. Stattdes- 
sen wird fur den Fall, dass der Vektor eine vorhandene Zeile 
adressiert die Medianmaske gemaK Abbildung 9 a) verwendet, 
andernfalls die Medianmaske gemafi Abbildung 9 b) . Falls die 
Gesamtsumme der Filtergewichte gerade ist, wird zusatzlich 

25 der links oberhalb der aktuellen Position befindliche, be- 

reits berechnete Bildpunkt des Zwischenbildes in das Median- 
filter eingef uhrt . 

Das in [3] vorgestellte Interpolationsverf ahren erzielt bei 
3 0 der Konversion von 50 Hz Zeilensprungsignalen auf 100 Hz Zei- 
lensprungsignale bereits eine sehr gute Interpolationsquali- 
tat, was auch auf die Fehlerkorrektureigenschaf ten der ge- 
wichteten Medianfilter zuruckzuf uhren ist. 

3 5 Betrachtet man eine Formatkonversion, bei der das Verhaltnis 
zwischen Eingangsbildrate und Ausgangsbildrate von dem obigen 
Verhaltnis 50:100 abweicht, so ergeben sich fur die Vektor- 
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projektiori andere Randbedingungen . Dies wird anhand von Figur 
10 deutlich, in der die zeitlichen Positionen der Ausgangs- 
bilder fur verschiedene Ausgangsbildraten im Vergleich zu ei- 
ner 50 Hz Eingangssequenz dargestellt sind. 

5 

Bei der bereits betrachteten Konversion auf 10 0 Hz stimmen 
die Bilder der Ausgangssequenz zeitlich entweder mit einem 
Bild der Eingangssequenz iiberein, oder die zu interpolieren- 
den Zwischenbilder liegen bei der Wiedergabe zeitlich genau 

10 zwischen zwei Eingangsbildern. Im zweiten Fall ergibt sich 
eine Vektorproj ektion gema£ Figur 4, bei der die gemessenen 
bzw. geschatzten Bewegungsvektoren VAnBn ausgehend von einem 
jeweiligen Bildpunkt des Zwischenbilds jeweils mit einem Pro- 
jektionsf aktor 0,5 in das vorherige bzw. in das nachfolgende 

15 Originalbild projiziert werden, das heiSt, die Bildinf ormati- 
on eines Bildpunktes in dem Zwischenbild wird interpoliert 
unter Verwendung von Bildpunkt en, die in solchen Bereichen 
der Eingangsbilder liegen, die jeweils urn den mit 0,5 multip- 
liziertem Bewegungsvektor von dem zu interpolierenden Punkt 

2 0 entfernt liegen. 

Bei anderen Bildratenverhaltnissen mussen jedoch Zwischenbil- 
der an zeitlichen Positionen interpoliert werden, die nicht 
genau mittig zwischen zwei Eingangsbildern liegen, so dass 
25 sich verschiedene, von 0,5 abweichende Pro j ektionsf aktoren 
fur die zu interpolierenden Zwischenbilder ergeben. 

Des weiteren ist zu erkennen, dass zwischen zwei Ausgangsbil- 
dern, die zeitlich genau mit einem Eingangsbild ubereinstim- 

30 men, deutlich mehr als ein zeitlich zu interpolierendes Zwi- 
schenbild liegen kann. Bei einer Frequenz f org =50 Hz der Ein- 
gangssequenz und einer Ausgangs frequenz f int =60 Hz der inter- 
polierten Sequenz stimmt z.B. nur jedes sechste Ausgangsbild 
zeitlich mit einem Eingangsbild uberein. Da somit das Ver- 

35 haltnis interpolierter Bilder zu Originalbildern deutlich 

groSer ausfallt als bei einer Konversion auf fint=100 Hz sind 
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die Qualitatsanf orderungen an das Interpolationsverf ahren e- 
benfalls deutlich hoher. 

Allgemein lassen sich alle moglichen Proj ektionsf aktoren, die 
bei einer Konversion von f org auf fi nt entstehen, bestimmen ge- 
maJS 

Plinks = k ' forg/ fint " Lk • f org/ fint J ( 5 ) 

und 

Prechts = 1-Plinks = 1 * k * f org/ fint + Lk • f org/ f intJ (6) 

mit k=0,l,2, . . . /kmax-l und k max = f int/ggT (f org/ fint) , wobei 
Lk- forg/f intJ den ganzzahligen Anteil von k-f or g/fint darstellt 
und ggT die Operation zur Ermittlung des groSten gemeinsamen 
Teilers bezeichnet . 

Der Proj ektionsf aktor piinks bezeichnet also den auf die Peri- 
odendauer des Originalsignals normierten zeitlichen Abstand 
zwischen dem zu interpolierenden Zwischenbild und dem jeweils 
vorherigen Bild/Halbbild, wobei die Periodendauer den zeitli- 
chen Abstand zwischen zwei auf einanderf olgenden Bildern/Halb- 
bildern der Originalbildf olge darstellt. Entsprechend be- 
zeichnet prechts den auf die Periodendauer des Originalsignals 
normierten zeitlichen Abstand zwischen dem zu interpolieren- 
den Zwischenbild und dem jeweils nachf olgenden Bild/Halbbild . 

Die beiden Pro j ektionsf aktoren Piinks und Prechts erganzen sich 
zu 1 . 

Ersichtlich ergeben sich genau k max verschiedene Interpolati- 
onsphasen bzw. Proj ektionsf aktorpaare mit jeweils einem lin- 
ken und einem rechten Proj ektionsf aktor bei einer Bildraten- 
konversion von f org auf f± n t. Danach findet eine zyklische Wie- 
derholung der Proj ektionsf aktoren statt • 
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Der Einfluss von Vektorf ehlern bei unterschiedlichen Projek- 
tionsf aktoren ist dabei unterschiedlich groS, wie in der fol- 
genden Darstellung erlautert wird, in der diese Auswirkungen 
fehlerhafter Bewegungsvektoren bei unterschiedlichen Projek- 
tionsphasen naher betrachtet werden. 

Zur Veranschaulichung wird angenommen , dass bei einer Kon ver- 
sion von 50 Hz auf 60 Hz das Bild fi der 60-Hz-Folge gemaJS 
Figur 10 interpoliert werden soli aus den Halbbildern A 3 und 
B 3 der 50-Hz-Folge. Die zugehorigen Pro j ektionsf aktoren punks 
in das vorherige Originalbild A 3 und Prechts in das nachfolgen- 
de Originalbild B 3 ermitteln sich zu Piink S =l/6 und P r echt s =5/6 

Nachfolgend wird zur Veranschaulichung von einer progressiven 
Bilddarstellung ausgegangen, die erorterten Probleme ergeben 
sich in entsprechender Weise aber auch fur eine Zeilensprung- 
darstellung ( = Darstellung in Halbbildern) . 

Zur Veranschaulichung sei angenommen, dass die gemessene Ge- 
schwindigkeit v mess = (12 , 12 ) betragt, so dass sich in das vor- 
herige Bild A 3 eine projizierte Geschwindigkeit von 

Vpimks = Plinks • v mess = 1/ 6 • ( 12 , 12 ) = ( 2 , 2 ) (7) 

und in das nachfolgende Bild B 3 eine projizierte Geschwindig- 
keit von 

VPrechts = Prechts ' V me ss= 5/6- (12,12) = (10,10) (8) 

ergibt, mit der die Interpolationsf ilter im vorherigen und 
nachf olgenden Bild A 3/ B 3 ausgehend von dem zu interpolieren- 
den Bildpunkt adressiert bzw. positioniert werden. Die Posi- 
tion des zu interpolierenden Bildpunktes sowie die Adressie- 
rungspositionen des Filters, die ausgehend von dem zu inter- 
polierenden Punkt urn vp reC hts bzw. vpi in ks verschoben sind, 
sind im Zwischenbild f in Abbildung 11 dargestellt. Die Ad- 
ressierungsposition bezeichnet dabei die Position der Bild- 
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punkte in den Originalbildern auf die eine Filtermaske fur 
die Auswahl zu filternder Bildpunkte gesetzt wird. Bei kor- 
rekter Schatzung des Bewegungsvektors entsprechen die Adres- 
sierungspositionen den Anfangs- und Endpositionen eines sich 
5 von Bild A nach Bild B bewegenden Bildpunktes, 

Wird jetzt angenommen, dass der geschatzte Bewegungsvektor 
mit einem maximal en Fehler von ±6 in x-und y-Richtung behaf- 
tet ist, so ergeben sich hieraus nach der Vektorpro j ektion 
10 die in Abbildung 11 grau dargestellten Fehlerbereiche , wobei 
die Positionierung der Filtermasken im Originalbild B erheb- 
lich starker abhangig von Vektorf ehlern, als die Positionie- 
rung des Filters im Originalbild A ist. 

15 Fur ein weiteres Beispiel zur Veranschaulichung des Einflus- 
ses eines Vektorf ehlers soil wieder bei einer Konversion von 
50 Hz auf 60 Hz das Bild £i aus Figur 10 aus den Originalbil- 
dern A 3 und B 3 interpoliert werden, wobei fur die Projekti- 
onsfaktoren gilt: piinks=l/6 und p r echts=5/6. 

20 

Betrachtet werde in Figur 12 eine horizontal mit der Ge- 
schwindigkeit v rea i=6 Pixel/Bild bewegte ideale vertikale Kan- 
te. Geschatzt sei jedoch die Geschwindigkeit v meS s=0 / so dass 
die Filtermasken W A im Bild A und W B im Bild B an der glei- 
25 chen Stelle positioniert werden. 

Werden entsprechend dem in [3] erlauterten Verfahren fur Bild 
A und Bild B die gleichen Filtermasken verwendet, ergibt sich 
eine Interpolation der bewegten Kante in dem Zwischenbild f 
3 0 an einer Position, die der halben Distanz zwischen der Kante 
in dem Bild A und dem Bild B entspricht. Diese Position ist 
nicht korrekt, weil das zu interpolierende Zwischenbild zeit- 
lich nicht in der Mitte zwischen den Bildern A und B liegt. 

3 5 Beschreibung der Erfindung 

Ziel der vorliegenden Erfindung ist es daher, ein Verfahren 
und eine Vorrichtung zur Konversion von Videosignalen zur 
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Verfugung zu stellen, das in der Lage ist eine korrekte In- 
terpolation von Zwischenbildern auch dann zu liefern, wenn 
das Verhaltnis der Frequenz von Ausgangsbildf olge zu Ein- 
gangsbildf olge von 100:50 abweicht und insbesondere einen 
5 nicht ganzzahligen Wert annimmt . 

Dieses Ziel wird durch ein Verfahren gemaiS der Merkmale des 
Anspruchs 1 und eine Vorrichtung gemaS der Merkmale des An- 
spruchs 16 gelost. Vorteilhafte Ausgestaltungen der Erfindung 
10 sind Gegenstand der Unteranspruche . 

Die Erfindung betrifft ein Verfahren zur bewegungsvektorge- 
stutzten Konversion eines ersten Videosignals , das eine erste 
Bildfolge mit einer ersten Frequenz enthalt, in ein zweites 

15 Videosignal, das eine zweite Bildfolge mit einer zweiten Fre- 
quenz enthalt, wobei wenigstens einige Bilder der zweiten 
Bildfolge, die phasenverschoben gegeniiber Bildern der ersten 
Bildfolge sind, durch eine Interpolation von Bildern der ers- 
ten Bildfolge derart gebildet werden, dass fur einen Bild- 

20 punkt eines Bildes der zweiten Bildfolge Bildpunkte wenigs- 
tens eines ersten Bildes und eines zweiten Bildes der ersten 
Bildfolge mittels eines Medianf liters gefiltert werden, wobei 
das Medianf ilter erf indungsgemaS ein adaptiv gewichtetes Me- 
dianfilter ist. 

25 

Das Medianfilter ist gemafi einer Ausf uhrungsf orm abhangig von 
einer Interpolationsphase zwischen dem zu interpolierenden 
Bild der zweiten Bildfolge und dem ersten und/oder zweiten 
Bild der ersten Bildfolge, und somit abhangig von den Projek- 
30 tionsf aktoren adaptiv gewichtet . 

GemaS weiteren Ausf uhrungsf ormen ist vorgesehen, das Median- 
filter abhangig von einem lokalen Bildinhalt oder von Eigen- 
schaften eines Vektorfeldes von Bewegungsvektoren adaptiv zu 
35 gewichten. 
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Bei einer Ausf uhrungsf orm zur Realisierung des Verfahrens 
wirci fur jede von mehreren verschiedenen Interpolationsphasen 
eine erste Filtermaske, die die Auswahl und die Gewichtung 
der Bildpunkte des ersten Bildes fur die Medianf ilterung be- 
stimmt, und eine zweite Filtermaske, die die Auswahl und die 
Gewichtung der Bildpunkte des zweiten Bildes fur die Median- 
f ilterung bestimmt, erzeugt. Diese Filtermasken werden abhan- 
gig von der momentanen Interpolationsphase fur die Filterung 
ausgewahlt und verwendet . 

Bei der Erzeugung der Filtermasken bzw. Filter werden vor- 
teilhaf terweise folgende Kriterien berucksichtigt : 

• Die Filtermasken sind so gewahlt, dass eine bewegte ideale 
horizontale oder vertikale Kante trotz eines Schatzf ehlers 
an die fur die jeweilige Interpolationsphase korrekte Kan- 
tenposition interpoliert wird. 

• Bei korrekt geschatztem Bewegungsvektor sollten auch feine 
Bilddetails erhalten bleiben, dies kann dadurch erreicht 
werden, dass die Summe der Zentralgewichte beider Filter- 
masken groSer ist, als die Summe der ubrigen Gewichte. 

•■ Die Korrekturf ahigkeit eines gewichteten Medianf ilters 
nimmt im allgemeinen mit dessen GroSe zu. Daher ist die 
Ausdehnung der Filtermasken vorzugsweise umso grofier, je 
groSer der zugehorige Proj ektionsf aktor ist, damit die 
sich hieraus ergebenden groSeren Fehlerbereiche korrigiert 
werden konnen. 

• Da die Inf ormationen aus dem Bild mit geringerem Proj ekti- 
onsf aktor in der Regel zuverlassiger ist, ist die Majori- 
tat der Filtergewichte vorzugsweise der Filtermaske mit 
dem geringeren Pro j ektionsf aktor zugeordnet, wobei dieser 
Effekt umso ausgepragter ist, je starker sich die Proj ek- 
tionsf aktoren unterscheiden . 
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Die Wahrscheinlichkeit , dass eine Maske mehrere Objekte 
uberlappt, und somit aufgrund einer Verletzung der Modell- 
annahme (eine bewegte Kante) zu Interpolationsf ehlern 
fuhrt, steigt mit steigender MaskengroSe . Durch eine Er- 
kennung kritischer Bereiche, z.B. durch eine Kantendetek- 
tion, ist eine entsprechende Adaption der FiltergroSe mog- 
lich. GemaS einer Ausf iihrungsf orm ist also vorgesehen, fur 
jede Interpolationsphase mehr als eine erste Filtermaske 
und mehr als eine zweite Filtermaske bereit zu stellen, 
die jeweils fur eine Filterung unterschiedlich struktu- 
rierter Bildbereiche geeignet sind, und die Filtermasken 
abhangig von einer Detektion derartiger Bildbereiche aus- 
zuwahlen . 

• Die Zuverlassigkeit der Bewegungsvektoren ist nicht iiber- 
all im Bild gleich. So ist z.B. in Ubergangsbereichen zwi- 
schen unterschiedlichen Vektoren aufgrund der in der Regel 
blockweisen Bewegungs schat zung eine groiSere Unzuverlassig- 
keit anzunehmen, als innerhalb homogener Vektorbereiche . 
Zudem kann das AhnlichkeitsmaE, aufgrund dessen die Bewe- 
gungsvektoren ermittelt wurden fur eine Zuverlassigkeit s- 
beurteilung herangezogen werden. Ebenso sind in der Regel 
bei groSeren Vektorbetragen auch hohere Ungenauigkeiten zu 
erwarten. GemaS einer Ausf iihrungsf orm ist daher die GroSe 
und die Gewichtung der Filtermasken an die Zuverlassigkeit 
der Bewegungsvektoren adaptiert. 

Dariiber hinaus werden bei der Erzeugung der Filtermasken auch 
die anhand des Bewegungsvektors ermittelte Geschwindigkeit 
beriicksichtigt , urn einen maximal zu korrigierenden Vektorfeh- 
lerbetrag des Bewegungsvektors beim Filterentwurf berucksich- 
tigen zu konnen, so dass fur eine Interpolationsphase, die 
durch den Pro j ektionsf aktor bestimmt ist, abhangig von der 
Geschwindigkeit und dem maximal zu korrigierenden Vektorfeh- 
ler mehrere unterschiedliche Filtermasken vorgehalten bzw. 
e r z eug t we r den konnen . 
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Unter Berucksichtigung obiger Kriterien lassen sich mittels 
hinlanglich bekannter, geeigneter Filterentwurf sverf ahren, 
ein- oder zweidimensionale gewichtete Medianfilter entwerfen, 
die fur obige Vorgaben und ideale horizontale oder vertikale 
5 Kanten eine vollstandige Kompensation von Schatzf ehlern in- 
nerhalb des vorgegebenen Fehlerbetrages ermoglichen. 

Mit vollstandiger Kompensation eines Schatzf ehlers ist hier- 
bei gemeint, dass das Filter z.B. bei einem vorgegebenen 
10 Schatzf ehler ±6 den gesamten Fehlerbereich {-6,-5, -1,0, 
1, 5,6} (unter Beachtung des jeweiligen Rundungskonzepts 

zur Erzielung einer pixelgenauen Filteradressierung) korri- 
gieren kann. 

15 Die vorliegende Erfindung wird , nachf olgend in Ausfuhrungsbei- 
spielen anhand von Figuren naher erlautert . 

Figur 1 veranschaulicht ein Verfahren zur Erzeugung von 
Bildpunkten einer Zwischenzeile unter Verwendung 
20 eines Medianf ilters nach dem Stand der Technik. 

Figur 2 veranschaulicht ein Verfahren zur Erzeugung eines 
100 Hz-Bildsignals aus einem 50 Hz-Bildsignals un- 
ter Verwendung einer Medianf ilterung fur einen Tie- 
25 fenkanal nach dem Stand der Technik. 

Figur 3 veranschaulicht ein Verfahren zur Erzeugung eines 

100 Hz-Bildsignals aus einem 50 Hz -Bildsignal unter 
Verwendung einer Medianf ilterung fur einen Hohenka- 
3 0 nal nach dem Stand der Technik. 

Figur 4 veranschaulicht schematisch ein Verfahren zur bewe- 
gungsvektorgestiitzten Erzeugung eines Zwischenbil- 
des aus zwei Halbbildern einer Originalbildf olge 
35 unter Verwendung eines Interpolationsf ilters . 
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Figur 5 veranschaulicht schematisch ein Verfahren zur bewe- 
gungsvektorgestiitzten Erzeugung eines Zwischehbil- 
des aus zwei Halbbildern einer Originalbildf olge 
unter Verwendung eines gewichteten Medianf ilters 
5 als Interpolationsf ilter . 

Figur 6 veranschaulicht eine bewegungsvektorgestutzte Er- 
zeugung eines Zwischenbildes aus zwei Halbbildern 
einer Originalbildf olge anhand einer ausgewahlten 
10 Zeile des Zwischenbildes. 

Figur 7 veranschaulicht das Interpolationsverf ahren fur den 
Hohenkanal fur Interpolationsverf ahren gemaiS der 
Verof f entlichungen [1,2,3] nach dem Stand der Tech- 
15 nik. 

Figur 8 zeigt die Filtermasken fur Interpolationsverf ahren 
gemaE der Verof f entlichungen [1, 2, 3] nach dem 
Stand der Technik. 

20 

Figur 9 zeigt Interpolationsmasken fur ein in [8] beschrie- 
benes Verfahren nach dem Stand der Technik. 

Figur 10 veranschaulicht die zeitlichen Positionen der Bil- 
25 der von interpolierten Bildfolgen im Vergleich zu 

einer 50 Hz-Originalf olge . 

Figur 11 veranschaulicht den Einfluss eines Schatzfehler bei 
verschiedenen Pro j ektionsf aktoren . 

30 

Figur 12 zeigt jeweils eine Zeile eines ersten und zweiten 

Bildes einer Originalf olge und eine Zeile eines in- 
terpolierten Zwischenbildes bei nicht adaptierten 
Filtern. 

35 

Figur 13 zeigt jeweils eine Zeile eines ersten und zweiten 

Bildes einer Originalf olge und eine Zeile eines in- 
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terpolierten Zwischenbildes bei einem erf indungsge- 
mafi verwendeten adaptiv gewichteten Medianfilter 
als Interpolations filter , 

5 Figur 14 zeigt eine erf indungsgemaSe Vorrichtung zur Erzeu- 
gung eines zweiten Videosignals aus einem ersten 
Videosignal unter Verwendung eines adaptiv gewich- 
teten Medianf ilters ohne Bandauf spaltung . 

10 Figur 15 zeigt eine erf indungsgemaSe Vorrichtung zur Erzeu- 
gung eines zweiten Videosignals aus einem ersten 
Videosignal unter Verwendung von adaptiv gewichte- 
ten Medianf iltern mit Bandauf spaltung . 

15 Figur 16 veranschaulicht eine Interpolation fur den Tiefen- 
kanal bei einer Bandauf spaltung des ersten Video- 
signals in einen HShen- und Tief enkanal . 

Figur 17 veranschaulicht eine bilineare Interpolation im 

2 0 Tief enkanal bei einer Bandauf spaltung des ersten 

Videosignals in einen Hohen- und Tief enkanal. 

Figur 18 veranschaulicht eine lineare horizontale Interpola- 
tion im Hohenkanal bei einer Bandauf spaltung des 
25 ersten Videosignals in einen Hohen- und Tiefenka- 

nal . 

Figur 19 veranschaulicht eine Interpolation im Hohenkanal 
bei einer Bandauf spaltung des ersten Videosignals 

3 0 in einen Hohen- und Tief enkanal . 

Figur 2 0 veranschaulicht eine erf indungsgemaSe Interpolation 
bei einer progressiven Eingangsbildf olge . 



3 5 In den Figuren bezeichnen, sofern nicht anders angegeben 

gleiche Bezugszeichen gleiche Telle mit gleicher Bedeutung. 
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In Anlehnung an das anhand von Figur 6 veranschaulichte und 
oben erlauterte Interpolationsverf ahren wird nachfolgend an- 
hand von Figur 13 das erf indungsgemafie Verf ahren erlautert, 
bei dem die bei dem Stand der Technik auftretenden Probleme, 
die anhand von Figur 12 erlautert wurden, nicht entstehen. 

In Figur 13 sind jeweils eine Zeile von auf einanderf olgenden 
Bildern A und B und eine Zeile eines mittels des erf indungs- 
gemaEen Verfahrens erzeugten Zwischenbildes £ dargestellt. 
Fur das Beispiel wird davon ausgegangen, dass sich eine Kante 
zwischen hellen und dunklen Bildpunkten mit einer Geschwin- 
digkeit von v xrea i = 6 Pixel/Bild bewegt, dass ein Bewegungs- 
vektor jedoch nicht korrekt zu v meS s = 0 Pixel/Halbbild ge- 
schatzt wurde. 

Das Zwischenbild f sei in dem Beispiel ein Zwischenbild der 
60Hz-Bildf olge gemaS Figur 10 und die Bilder A und B seien 
Bilder der 50Hz-Bildf olge gemaiS Figur 10, wobei die Bilder A 
und B Halbbilder oder Vollbilder sein konnen. Fur einen lin- 
ken Projektionsf aktor gilt in dem Beispiel piinks=l/6, ent- 
sprechend gilt fur einen rechten Pro j ekt ions f aktor p r echts=l- 
Plinks = 5/6 . 

Unter der Zeile des Bildes A ist eine Filtermaske W A darge- 
stellt, die angibt, welche der Bildpunkte der Zeile mit wel- 
cher Gewichtung einer Medianf ilterung unterzogen werden. Uber 
der Zeile des Bildes B ist eine zweite Filtermaske W B darge- 
stellt, die angibt, welche der Bildpunkte der Zeile mit wel- 
cher Gewichtung der Medianf ilterung unterzogen werden. Die 
beiden Filter sind derart positioniert , dass sie Bildpunkte 
urn einen Anfangspunkt des Bewegungsvektors in Bild A bzw. ei- 
nen Endpunkt des Bewegungsvektors in Bild B auswahlen, wobei 
diese Punkte in dem Beispiel im Punkt x 0 zusammenf alien, da 
der Bewegungsvektor zu Null geschatzt wurde. Bei einer kor- 
rekt en Schatzung des Bewegungsvektors zu v xre ai ware die Fil- 
termaske W B urn sechs Bildpunkte nach rechts verschoben. 
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Bei den dargestellten Filtermasken sind zentrale Bildpunkte, 
die den Anfangspunkt und den Endpunkt des Bewegungsvektors 
festlegen, starker gewichtet als umliegende Bildpunkte, wobei 
die Filtergewichte - anders als dargestellt - ausgehend von 
dem zentralen Bildpunkt nach aufien hin mit zunehmendem Ab- 
stand von detu zentralen Bildpunkt auch abnehmen konnen. Der 
zu interpolierende Bildpunkt des Zwischenbildes liegt urn 
vpiinks = Piinks-Vmess Bildpunkte nach rechts gegenuber dem An- 
fangspunkt des Bewegungsvektors und urn vp rec hts = Prechts * v mes s 
Bildpunkte nach links gegenuber dem Endpunkt des Bewegungs- 
vektors verschoben, wobei dessen Position bei der in dem Bei- 
spiel angenommenen nicht korrekten Schatzung des Bewegungs- 
vektors der Position des Bildpunktes x 0 entspricht . 

Der Projektionsfaktor pi in ks iti Figur 13 stellt ein MaS fur 
den normierten zeitlichen Ab stand zwischen dem Bild A und dem 
Zwischenbild f dar und der Projektionsfaktor p re chts stellt ein 
MaS fur den normierten zeitlichen Abstand zwischen dem Zwi- 
schenbild f und dem Bild B dar, wobei diese Pro j ektionsf akto- 
ren urn so geringer sind, je kleiner der zeitliche Abstand 
ist. Die Pro j ektionsf aktoren sind damit ein MaS fur die je- 
weilige Interpolationsphase, das heiSt die zeitliche Lage des 
Zwischenbildes f bezuglich der Originalbilder A, B, wobei 
sich diese Interpolationsphasen bei einer Konversion von f or g 
(z.B. 50 Hz) auf f int (z.B. 60 Hz) innerhalb eines durch das 
Verhaltnis dieser Frequenzen vorgegebenen Zyklus von Zwi- 
schenbild zu Zwischenbild andern. 

Erf indungsgemaS ist vorgesehen, die Filtermasken adaptiv ab- 
hangig von der Interpolationsphase, das heiSt abhangig von 
den Proj ektionsf aktoren Piinks , Prechts zu gewichten. Dabei be- 
sitzt die dem Projektionsfaktor piinks zugeordnete Filtermaske 
W A eine geringere Ausdehnung, da die Zuverlassigkeit der 
Bildinf ormationen des zeitlich naher an dem Zwischenbild lie- 
genden Bildes A als hoher eingestuft werden kann als die Zu- 
verlassigkeit des zeitlich entfernter von dem Zwischenbild 
liegenden Bildes B und die Ausdehnung des Filters wie erlau- 
tert mit abnehmender Zuverlassigkeit der Bildinf ormation zu- 
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nimmt. Das Filter W A besitzt fur die dargestellte Projekti- 
onsphase mit Piink S =l/6 bzw. p reC hts=5/6 eine Ausdehnung von 
drei Bildpunkten, die Filtermaske W B besitzt eine Ausdehnung 
von elf Bildpunkten. Die Majoritat der Filtergewichte liegt 
5 mit 4 + 13+4=21 bei dem Filter W A/ das die zuverlassigeren 

Bildinf ormationen des Bildes A gewichtet, gegeniiber einem Ge- 
samtgewicht von 1+1+1+1+1+8+1+1+1+1+1=18 bei der Filtermaske 
W B . 

Die Bildpunkte der Zwischenzeile wurden durch eine Medianfil- 
10 terung der Bildpunkte der Bilder A und B mittels der Masken 

W A und W B erzeugt, wobei ersichtlich ist, dass dank der inter- 
polationsphasenabhangigen Gewichtung der Filtermasken W A , W B 
die Kante des Zwischenbildes entsprechend der Phaseniage des 
Zwischenbildes gegeniiber den Bildern A und B korrekt urn einen 
15 Bildpunkt gegeniiber der Kante in dem Bild A und urn 5 Bild- 
punkte gegeniiber der Kante in dem Bild B verschoben ist. 
Somit kann eine bewegungsrichtige Interpolation der bewegten 
Kante trotz falsch geschatztem Vektor durch Anwendung der in 
Abbildung 13 dargestellten adaptierten Filtermasken durchge- 
2 0 fiihrt werden. Ersichtlich wird die bewegte Kante hier positi- 
onsrichtig auf V rea i/6 interpoliert . 

Inf ormationen, die aus einem Bild mit geringem Projektions- 
faktor (dem Bild A in Figur 13) eingeflossen sind, sind deut- 

25 lich weniger vom Vektorfehler abhangig und somit als zuver- 
lassiger einzustufen als Inf ormationen, die aus einem Bild 
mit grdteerem Projektionsf aktor eingeflossen sind (dem Bild B 
in Figur 13) . Zudem ist die Korrelation eines Bildes mit ge- 
ringerem Pro j ektionsf aktor zum zu interpolierenden Zwischen- 

30 bild in der Regel groSer, da diese zeitlich naher beieinander 
liegen. Die erf indungsgemaEe Verwendung von an die aktuelle 
Interpolationsphase und somit die jeweiligen Pro j ektionsf ak- 
toren adaptierten Filtermasken, sogenannten Polyphaseninter- 
polationsf iltern, zur Interpolation nutzt diesen Umstand zur 

35 korrekten Interpolation von Zwischenbildern auch bei einer 
nicht korrekten Bewegungsschatzung. 
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Gemafi dem erf indungsgemaSen Verfahren ist vorgesehen, einen 
Satz von Filtern zu entwerfen, von denen wenigstens ein Fil- 
ter einer Interpolationsphase zugeordnet ist, und zwischen 
diesen Filtern in Abhangigkeit von der Interpolationsphase 
5 und ggf . anderen Kriterien umzuschalten . Der Begriff Filter 
steht im folgenden insbesondere fur eine Gruppe von zwei oder 
mehr Filtermasken, die fur einen Filtervorgang, das heiSt die 
Interpolation eines Bildpunktes, die Auswahl und die Gewich- 
tung von Bildpunkten in den Originalbildern und gegebenen- 
10 falls von bereits ermittelten Bildpunkten in dem zu interpo- 
lierenden Zwischenbild bestimmen. 

Figur 14 zeigt ein Ausf uhrungsbeispiel einer Vorrichtung zur 
Durchfuhrung des erf indungsgemaSen Verfahrens zur bewegungs- 
15 vektorgestutzten Konversion eines ersten Videosignals Sin, 
das eine erste Bildfolge mit einer ersten Frequenz f org ent- 
halt, in ein zweites Videosignal Sout, das eine zweite Bild- 
folge mit einer zwei ten Frequenz fi nt enthalt . Das erste Vi- 
deosignal Sin ist einem Eingang der Vorrichtung zugefuhrt, 

2 0 ' das zweite Videosignal Sout steht an einem Ausgang der Vor- 

richtung zur Verfugung. 

Die Vorrichtung weist Mittel 20 zur Bewegungsschatzung auf, 
die einen Bewegungsvektor bereitstellen, der in dem Beispiel 

25 gemafi Figur 14 eine x-Komponente v x und y-Komponente v y auf- 
weist. Zur Bewegungsschatzung sind der Bewegungs s chat z anord- 
nung 2 0 wenigstens zwei Bilder der Eingangsbildf olge zuge- 
fuhrt, die in Figur 14 allgemein mit S (n) und S(n-l) bezeich- 
net sind, wobei S (n) ein aktuelles Bild der Eingangsbildf olge 

30 und S(n-l) ein vorhergehendes in einem Bildspeicher 50 ge- 
speichertes Bild der Eingangsbildf olge bezeichnet. 

Die Vorrichtung weist ferner eine Anordnung 3 0 zur Bereit- 
stellung eines von der momentanen Interpolationsphase abhan- 

3 5 gigen Pro j ektionsf aktors p Unks auf, wobei die Anordnung 3 0 

dazu ausgebildet ist, fur eine vorgegebene Konversion von ei- 
ner Eingangsf requenz f org auf eine Ausgangsf requenz f int gemaS 
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der Formeln (5) und (6) alle k max moglichen Pro j ektionsf akto- 
ren zu ermitteln und in zyklischer Weise bereitzustellen, so 
dass bei jeder Interpolation eines Ausgangsbildes aus zwei 
Eingangsbildern der korrekte Interpolationsf aktor zur Verfu- 
5 gung steht. 

Die Vorrichtung weist weiterhin eine Filtermaskenauswahlan- 
ordnung 4 0 auf , der wenigestens der ermittelte Pro jekt ions - 
faktor punks zugefiihrt ist und die an einen adaptiven Inter- 

10 polator 10 angeschlossen ist, der eine Medianf ilterung zur 

Bereitstellung jeweils eines Bildes der Ausgangsbildf olge aus 
zwei Bildern S (n) , S(n-l) der Eingangsbildf olge vomimmt . Die 
fur die jeweilige Medianf ilterung zu verwendenden Filtermas- 
ken werden durch die Filtermaskenauswahlanordnung 4 0 abhangig 

15 von dem Pro j ektionsf aktor piinks ausgewahlt und dem adaptiven 

Interpolartor 10 zugefiihrt. In der Filtermaskenauswahleinheit 
ist fur jede Interpolationsphase , d.h. fur jeden Projektions- 
faktor punks wenigstens eine Gruppe von zwei Filtermasken ge- 
speichert, die die Auswahl und die Gewichtung der aus dem 

20 Bild S (n) bei der Filterung zu berucksichtigenden Bildpunkte 
und die Auswahl und die Gewichtung der aus dem Bild S(n-l) zu 
berucksichtigenden Bildpunkte bestimmen. Zudem kann fur jede 
Interpolationsphase auch eine Filtermaske vorgesehen werden, 
die die Auswahl und die Gewichtung bereits ermittelter Bild- 

25 punkte des Zwischenbildes bei der Medianf ilterung bestimmen, 
urn diese Bildpunkte ebenfalls bei der Filterung zu beruck- 
sichtigen. 

Bei dem in Figur 14 dargestellten Ausf uhrungsbeispiel erfolgt 
3 0 die Auswahl der Filtermasken zusatzlich abhangig von den ge- 
maE, der Gleichungen (7) und (8) projizierten Geschwindigkei- 
ten vpii nks und vp re chts, urn dadurch Filtermasken auswahlen zu 
konnen, die in der Lage sind, einen Fehler des geschatzten 
Bewegungsvektors zu korrigieren. Da die Filtermasken abhangig 
35 von der geschatzten Geschwindigkeit unterschiedliche Ausdeh- 
nungen bzw. unterschiedliche Gewichtungen aufweisen konnen, 
urn einen vorgegebenen maximalen Schatzfehler korrigieren zu 
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konnen, sind bei dieser Ausf xihrungsf orm pro Interpolations- 
phase, d.h. pro Projektionsf aktor punks, mehrere Gruppen von 
Filtermasken vorhanden, wobei fur jede Interpolationsphase 
abhangig von den projizierten Geschwindigkeiten vp x und vp y 
5 eine Gruppe von Filtermasken ausgewahlt und dem adapt iven In- 
terpolator zugefiihrt wird. 

Des weiteren besteht die Moglichkeit , fur jede Interpolati- 
onsphase verschiedene Filter bzw. Filtermasken vorzusehen, 

10 die sich neben ihrer Korrekturf ahigkeit auch in ihrer Scatz- 
f ehlerkorrektureigenschaf t und/oder Detailerhaltungseigen- 
schaft beispielsweise abhangig von dem lokalen Bildinhalt 
(z.B. Kant en, periodische Strukturen, usw.) , dem Betrag des 
geschatzten Bewegungsvektors , der Vektorf eldhomogenitat oder 

15 anderen bild- oder bewegungsvektorbezogenen Kriterien unter- 
scheiden. Zur Auswahl derartiger Filter in der Filtermasken - 
auswahlanordnung 4 0 sind weitere Bildauswertungen erf order- 
lich, die in der in Figur 14 gestrichelt dargestellten Anord- 
nung 80 vorgenommen werden, wobei ein Ausgangs signal , das zur 

20 Auswahl geeigneter Filtermasken wahrend einer Interpolations - 
phase in der Filtermaskenauswahlanordnung 4 0 dient, dieser 
Filtermaskenauswahlanordnung 40 zugefiihrt ist. Die nach dem 
erf indungsgemaSen Verfahren durchgefuhrte Filterung mit adap- 
tiv gewichteten Medianf iltern kann entweder auf das gesamte 

25 Bild oder in Verbindung mit einer Bandauf spaltung auf eihzel- 
ne Subbander angewendet werden, wie dies bei einer Vorrich- 
tung gemaS Figur 15 dargestellt ist. 

Diese Vorrichtung weist einen adaptiven Hoheninterpolator 101 
3 0 mit einem adaptiv gewichteten Medianf ilter und einen adapti- 
ven Tief enpolator 102 mit einem adaptiv gewichteten Median- 
filter auf, wobei jedem der Interpolatoren 101, 102 eine Fil- 
termaskenauswahlanordnung 4 01, 4 02 zugeordnet ist, wobei den 
Filtermaskenauswahlanordnungen Pro j ektionsf aktoren pi inks , die 
35 projizierten Geschwindigkeiten Vp x und Vp y sowie zusatzlich 

ein sogenanntes Auf- und Verdeckungsf lag zugefiihrt ist, wobei 
dieses Auf- und Verdeckungsf lag wie auch die projizierten Ge- 
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schwindigkeiten vp x , vp y in einer Anordnung 5 0 zur Vektorpro- 
jektion bzw. Auf- und Verdeckungsdetektion erzeugt werden, 
wobei dieser Anordnung 50 der Bewegungsvektor v x/ v y und der 
Proj ektionsf aktor piinks zugefuhrt sind. 

5 

Die Anordnung weist drei hintereinander geschaltete Bildspei- 
cher 501, 502, 503 auf, so dass vier aufeinander folgende 
Bilder/Halbbilder der Eingangsbildf olge S (n) , S(n-l), S(n-2), 
S(n-3) zur Verfiigung stehen. Diese Bilder/Halbbilder werden 

10 jeweils Vorrichtungen 601, 602, 603, 604 zur Bandauf spaltung 
zugefuhrt, wobei die Vorrichtungen 601, 604 in dem Ausfuh- 
rungsbeispiel lediglich ein Hohensignal bereitstellen, das 
dem adapt iven Hohen- Interpolator zugefuhrt ist, wahrend die 
Vorrichtungen 602, 603 jeweils ein Hohensignal und ein Tie- 

15 fensignal bereitstellen, wobei die Tief ensignale dem adapti- 
ven Tief en- Interpolator und die Hohensignale des adapt iven 
Hohen- Interpolator zugefuhrt sind. 

Die Auswahl der Filtermasken durch die Filtermaskenauswahlan- 
20 ordnungen 401, 402 fur die Interpolatoren 101, 102 erfolgt 

wie im Zusammenhang mit Figur 14 beschrieben, wobei fur jede 
einzelne Interpolationsphase die Medianf ilter bzw. die Fil- 
termasken konstant sein konnen, wobei allerdings auch fur je- 
de einzelne Interpolationsphase mehrere unterschiedliche Me- 
25 dianf ilter bzw. Filtermasken vorgesehen werden konnen, die 
sich in ihrer Korrekturf ahigkeit oder in ihrer Detailerhal- 
tungseigenschaf t unterscheiden . Die ausgewahlten Filtermasken 
fur den Hohen- Interpolator und den Tief en- Interpolator sind 
fur jede der einzelnen Interpolationsphasen in der Regel un- 
30 terschiedlich. Die Filtermasken werden abhangig von den Pro- 
j ektionsf aktoren und/oder abhangig von den projizierten Ge- 
schwindigkeiten vp x , vp y und gegebenenf alls zusatzlich abhan- 
gig von dem Auf- und Verdeckungsf lag ausgewahlt. 

3 5 Eine in der Anordnung 5 0 durchgef uhrte Vektorpro j ektion und 
Auf- und Verdeckungsdetektion wird wie in [3] dargestellt 
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durchgef uhrt , wobei hier eine Verallgemeinerung auf beliebige 
Pro j ekt ions faktoren vorgenommen we r den muss. 

Fur den Hohenkanal und den Tiefenkanal finden verschiedene 
5 Interpolationen statt, wie im folgenden erlautert wird. 

Die Interpolation eines Zwischenbildes S(Z) fur den Tiefenka- 
nal aus auf einanderf olgenden Halbbildern S(n-l), S(n-2) ist 
in Figur 16 veranschaulicht . Die aus den Originalhalbbildern 

10 S(n-2), S(n-2) und dem Zwischenbild zur Filterung herangezo- 
genen Bildpunkte sind fett umrahmt dargestellt, wobei die Ge- 
wichtungsf aktoren (die Null sind, wenn ein Bildpunkt nicht 
beriicksichtigt werden soil) den Interpolatoren 101, 102 von 
den Filtermaskenauswahleinheiten 401, 402 mitgeteilt werden. 

15 Beispielsweise werden den Interpolatoren 101, 102 fur jede 

Interpolationsphase immer Gewichtungs faktoren fur gleich vie- 
le Bildpunkte mitgeteilt, die in den Originalhalbbildern S (n- 
2), S(n-l) in einer rechteckigen Anordnung oder einer kreuz- 
formigen Anordnung urn Anfangs- und Endpunkt des Bewegungsvek- 

20 tors liegen und die in dem Zwischenbild S(Z) links oder ober- 
halb des gerade zu interpolierenden Bildpunktes liegen, wobei 
sich einzelne Filtermasken fur verschiedene Interpolations - 
phasen in den Werten fur die Gewichtungsf aktoren und in den 
Positionen, fur die die Gewichtungsf aktoren ungleich Null 

25 sind, unterscheiden . Selbstverstandlich konnen den Interpola- 
toren auch nur die Gewichtungsf aktoren fur solche Bildpunkte 
zugefuhrt werden, die mit einem Gewichtungsf aktor ungleich 
Null zu gewichten sind. 

3 0 Ausgehend von dem in Figur 16 eingekreist dargestellten zu 

interpolierenden Bildpunkt, dessen Position auch in den Halb- 
bildern S(n-2), S(n-l) fett dargestellt ist, erfolgt eine Ad- 
ressierung das heiEt eine Positionierung der Filtermasken im 
dem dem Zwischenbild vorhergehenden Bild S(n-2) und dem nach- 

35 folgenden Bild. 
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Auf Basis der ermittelten, jeweils von der Interpolationspha- 
se abhangigen Filtergewichte W[ n - 2 ](i,j) fur die fett hervor- 
gehobenen Bildpunkte des vorhergehenden Bildes S(n-l) und der 
Filtergewichte W[ n -i](i,j) fur die fett hervorgehobenen Bild- 
5 punkte des nachf olgenden Bildes S(n-2) sowie der Filterge- 
wichte fur die fett hervorgehobenen Bildpunkte W z (i,j) des 
Zwischenbildes, die den rekursiven Anteil bestimmen, wird der 
Ausgangswert des gewichteten Medianf ilters bestimmt durch: 



10 



S (x,y,T s ) = Med 



W [N -23<>S (x-piinks'Vx,y-piinks-V y/ T [N - 2 ] ) " 
W[ N -l] OS (x+p r echts * V x , y+p r echts ' V y , T [N-l] ) 

W z 0S(x-l,y,T z ) 



(9) 



Falls hierbei die ausgehend von dem zu interpolierenden Bild- 
15 punkt (x,y) in das Vorgangerbild S (n-2 ) und das Nachfolger- 

bild S(n-l) projizierten Filterpositionen nicht genau auf ei- 
ne Pixelposition treffen, werden die zugehorigen Pixel, wie 
in Figur 16 dargestellt, durch eine bilineare Interpolation 
gemaS 

20 

S(x+dx / y+dy) = dx-dy -S (x+l,y+l) + (1-dx) • dy • S (x, y+1) + 

dx- (1-dy) -S (x+l,y) + (1-dx) • (1-dy ) -S(x,y) (10) 



ermittelt . 

25 

Urn ein progressives Ausgangsbild zu erzeugen, werden vom Zwi- 
schenbild S(Z) alle Bildzeilen (0, 1, 2, 3, . . . , 2R-1) gemaJS Figur 
16 und Formel 15 abgearbeitet . Soil ein Ausgangsbild im Zei- 
lensprung erzeugt werden, werden in Abhangigkeit von der Ras- 
3 0 terlage des zu interpolierenden Zwischenhalbbildes lediglich 
die ungeraden (1, 3 , . . . , 2R-1) oder die geraden (0, 2 , . . . , 2R-2) 
Bildzeilen des Zwischenbildes S(Z) abgearbeitet. 



Die Interpolation im Hohenkanal erfolgt in der im folgenden 
3 5 erlauterten Weise. 
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Ausgehend von dem zu interpolierenden Bildpunkt findet im Ho- 
henkanal ebenfalls eine Adressierung der Filtermasken in dem 
dem Zwischenbild vorhergehenden bzw. nachf olgenden Bild S (n- 
2) bzw. S(n-l) statt. Um einen Auf losungsverlust in vertika- 
5 ler Richtung zu vermeiden, findet allerdings keine bilineare 
14 Interpolation statt, falls die Vektoren nicht genau auf eine 
Pixelposition treffen. Stattdessen findet eine in horizonta- 
ler Richtung und vertikaler Richtung unterschiedliche Behand- 
lung statt. 

10 

In horizontaler Richtung wird eine einfache lineare Interpo- 
lation gemaiS Figur 18 und der Gleichung 

S(x+dx,y) = dx-S (x+l,y) + (1-dx) -S (x,y) (11) 

15 

durchgef iihrt . 

In vertikaler Richtung werden die Adressierungspositionen der 
Filter im vorhergehenden und nachf olgenden Bild auf Vollbild- 

20 zeilengenauigkeit gerundet . Liegt die aufgerundete Adressie- 
rungsposition auf einer Zeile, die im Halbbild nicht enthal- 
ten ist, so wird der daruber und der darunter liegende (ggf . 
horizontal interpolierte) Bildpunkt dem Medianfilter zuge- 
f iihrt . Befindet sich die gerundete Adressierungsposition je- 

25 doch auf einer Zeile, die im Halbbild enthalten ist, so wird 
der entsprechende (ggf- horizontal interpolierte) Bildpunkt 
zweifach in das Medianfilter eingefuhrt. 

Diese beiden moglichen Falle veranschaulicht Figur 19. Be- 
3 0 trachtet werden soil in diesem Beispiel nur der Beitrag durch 
das zentrale Filtergewicht W 0 , 0 - 

In dem in Figur 19a dargestellten Fall, bei dem die Adressie- 
rung des Zentralgewichts auf den Punkt S(x,2) und somit auf 
35 eine Zeile verweist, die im Halbbild enthalten ist, wurde dem 
Filter der Luminanzwert an der Position (x,2) zweifach zuge- 
f iihrt 
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S(x,y,T z ) =Med( . . . , 2-W [N - 2] (0 , 0 ) OS (x, 2 , T [N - 2] ) , . . .) (12) 

In dem in Figur 19b dargestellten Fall b) hingegen verweist 
die Adressierung des Zentralgewichts auf den Punkt S (x, 1.5) 
und somit auf eine nicht existierende Zwischenzeile . Daher 
wird dem Filter 

S(x,y,T z ) = Med(..., W [N . 2] (0 , 0) OS (x, 1 , T [N _ 2] ) , 

W [N -2] (0,0)OS(x,2,T [N -2]) , • • •) ( 13 ) 

zugefuhrt. Analog wird mit den anderen Filterpositionen ver- 
fahren. Urn eine ungerade Anzahl von Filtergewichten zu erhal- 
ten, kann noch ein nicht bewegungskompensierter zusatzlicher 
Wert aus dem weiter zuriickliegenden Bild S (N-3) oder dem fol- 
genden Bild S (N) zugefuhrt werden, wie dies in Figur 15 dar- 
gestellt ist. Hierbei wird von den beiden zusatzlichen Bil- 
dern jeweils auf das Bild zugegriffen deren Punkte in der zu 
interpolierenden Rasterlage liegen. 

Das dargestellte Interpolationsverf ahren kann selbstverstand- 
lich auch ohne Bandauf spaltung implementiert werden. Hierbei 
wird fur das gesamte Bild vorzugsweise auf die oben erlauter- 
ten Signalverarbeitungsmethoden des Tiefenkanals zuruckge- 
grif f en. 

Bei progressivem Eingangsbildf ormat kann entweder eine zwei- 
dimensionale Bandauf spaltung durchgefuhrt werden, oder es 
wird keine Bandauf spaltung vorgenommen und fur das gesamte 
Bild auf die Signalverarbeitungsmethoden des Tiefenkanals zu- 
ruckgegrif f en . 

Da durch den fehlenden Zeilensprung keine unterschiedliche 
Verarbeitung in vertikaler Richtung im Hohen- und Tiefenkanal 
stattfindet, kann fur beide Kanale das gleiche, in Figur dar- 
gestellte Interpolationsschema verwendet werden. Die Masken- 
gewichte sind hierbei jedoch unterschiedlich, und an die Wa- 
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Wahrnehmungseigenschaf ten im jeweiligen Kanal angepasst. Alle 
Bandauf spaltungen konnen jeweils als lineare oder auch als 
nichtlineare Bandauf spaltungen ausgefiihrt sein. Im Falle ei- 
ner nichtlinearen Bandauf spaltung sind die Begriffe "Hohen- 
5 band/Hohenkanal" und "Tief enband/Tief enkanal " sinngemaS zu 

verstehen, da hierbei dann keine Auf spaltung in Ortsf requenz- 
bander resultiert. 

Das erf indungsgemaSe Verfahren basiert auf der Verwendung 
10 vektorgestutzter gewichteter Medianf ilter , wobei im Unter- 

schied zu bisherigen Verfahren eine adaptive Umschaltung der 
Interpolationsf ilter in Abhangigkeit von der jeweiligen In- 
terpolationsphase und/oder vom jeweiligen lokalen Bildinhalt 
bzw. den lokalen Vektorf eldeigenschaf ten vorgesehen ist. 
15 Hierdurch kann auch eine Anpassung des Verfahrens an unter- 
schiedliche Bildratenverhaltnisse durchgefiihrt werden. Der 
Gewinn des erf indungsgemafien Interpolationsverf ahrens gegen- 
uber bestehenden Interpolationsverf ahren ist insbesondere 
dann hoch, wenn die Anzahl interpolierter Bilder hoch ist ge- 
20 geniiber der Anzahl von Bildern, die direkt oder rasterumin- 
terpoliert aus der Eingangsequenz ubernommen werden konnen. 
Dies ist z.B. bei der Konversion von 50 auf 60 Hz sowie bei 
der Realisierung einer synthetischen Zeitlupe der Fall. 
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Patentanspriiche 

1. Verfahren zur bewegungsvektorgestiitzten Konversion eines 
ersten Videosignals , das eine erste Bildfolge (Ai, Bi, A 2 , B 2 , 
5 A 3/ B 3/ ...) mit einer ersten Frequenz (forg) enthalt, in ein 
zweites Videosignal, das eine zweite Bildfolge (a lf (B Xt y x , 
<5i, ei, fi,...) mit einer zweiten Frequenz (f int ) enthalt, wo- 
bei wenigstens einige Bilder der zweiten Bildfolge (a X/ (3 Xf 
Yi, §i/ e X/ fi,...) f die phasenverschoben gegemiber Bilder der 

10 ersten Bildfolge (Ai, Bi, A 2/ B 2/ A 3/ B 3 ,...) sind, durch eine 
Interpolation von Bildern der ersten Bildfolge (Ai, B x , A 2 , 
B 2/ A 3/ B 3/ ...) derart gebildet werden, dass fur einen Bild- 
punkt eines Bildes {$ x ) der zweiten Bildfolge (ot lt (3 X , y X/ 5 lt 
Gi, fi/-..) Bildpunkte wenigstens eines ersten Bildes (A 3 ) und 

15 eines zweiten Bildes (B 3 ) der ersten Bildfolge (A l7 B lt A 2/ 

B 2/ A 3 , B 3 ,...) mittels eines Medianf ilters gefiltert werden, 

dadurch gekennzeichnet, dass 

das Medianfilter ein adaptiv gewichtetes Medianf ilter ist. 

20 2. Verfahren nach Anspruch 1, bei dem das Medianfilter abhan- 
gig von einer Interpolationsphase zwischen dem zu interpolie- 
renden Bild (£i) der zweiten Bildfolge {a x , (3 X , y X/ d x , e lf 
fi, . . .) und dem ersten und/oder zweiten Bild (A 3 , B 3 ) der ers- 
ten Bildfolge (Ai, B X/ A 2/ B 2/ A 3/ B 3 ,...) adaptiv gewichtet 

25 ist. 

3. Verfahren nach Anspruch 1, bei dem das Medianfilter abhan- 
gig von einer Interpolationsphase zwischen dem zu interpolie- 
renden Bild (fx) der zweiten Bildfolge (oi x , (3 X , Yi, 5 X/ e Xf 

30 Ti/-..) und dem ersten und/oder zweiten Bild (A 3/ B 3 ) der ers- 
ten Bildfolge (Ai, B x , A 2/ B 2/ A 3/ B 3/ ...) und von dem Bewe- 
gungsvektor adaptiv gewichtet ist. 

4. Verfahren nach Anspruch 1, 2 oder 3, bei dem das Median - 
35 filter abhangig von einem lokalen Bildinhalt adaptiv gewich- 
tet ist. 
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5. Verfahren nach einem der vorangehenden Anspruche, bei dem 
das Medianf ilter abhangig von lokalen Eigenschaf ten des Bewe- 
gungsvektors (VAnBn) adaptiv gewichtet ist. 

6. Verfahren nach einem der vorangehenden Anspruche, bei dem 
fur jede von mehreren verschiedenen Interpolationsphasen eine 
erste Filtermaske (W A ) erzeugt wird, die die Auswahl und die 
Gewichtung der Bildpunkte des ersten Bildes (A 3 ) bestimmt, 
und bei dem fur jede Interpolationsphase eine zweite Filter- 
maske (W B ) erzeugt wird, die die Auswahl und die Gewichtung 
der Bildpunkte des zweiten Bildes (A 3 ) bestimmt, und bei dem 
die erzeugten Filtermasken abhangig von der momentanen Inter- 
polationsphase fur die Medianf ilterung ausgewahlt werden. 

7. Verfahren nach Anspruch 6, bei dem die Filtermasken (W a , 
W B ) derart ausgebildet sind, dass zentrale durch die Filter- 
masken ausgewahlte Bildpunkte starker gewichtet werden, als 
umliegende Bildpunkte, wobei die Summe der Zentralgewichte 
groSer ist als die Summe der iibrigen Gewichte. 

8. Verfahren nach Anspruch 6 oder 7, bei dem die Filtermasken 
(W A , W b ) derart gewahlt sind, dass die Anzahl der jeweils 
durch die Filtermasken beriicksichtigten Bildpunkte der Bilder 
(A 3 , B3) der ersten Bildfolge (Ai, B lf A 2 , B 2 , A 3 , B 3 ,...) urn 
so groEer ist, je kleiner der jeweilige Proj ektionsf aktor 
(piinks/ Prechts) ist, wobei der Proj ektionsf aktor jeweils der 
auf den zeitlichen Abstand zwischen dem ersten und zweiten 
Bild (A 3 , B3) normierte zeitliche Abstand zwischen dem inter- 
polierten Bild (fi) und dem ersten Bild (A 3 ) bzw. dem inter- 
polierten Bild und dem zweiten Bild (B 3 ) ist. 

9. Verfahren nach einem der Anspruche 6 bis 8, bei dem die 
Filtermasken (W A , W B ) derart gewahlt sind, dass die Majoritat 
der Filtergewichte bei derjenigen der beiden Filtermasken 
liegt, die dem geringeren Proj ektionsf aktor (piinks, Prechts) 
zugeordnet ist. 
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10. Verfahren nach einem der Anspruche 6 bis 9, bei dem fur 
jede Interpolationsphase mehr als eine erste Filtermaske und 
mehr als eine zweite Filtermaske bereitgestellt werden, die 
jeweils fiir eine Filterung unterschiedlich strukturierter 

5 Bildbereiche geeignet sind und wobei die Filtermasken abhan- 
gig von einer Detektion derartiger Bildbereiche ausgewahlt 
werden . 

11. Verfahren nach einem der Anspruche 6 bis 10, bei dem fur 
10 jede Interpolationsphase mehr als eine erste Filtermaske und 

mehr als eine zweite Filtermaske bereitgestellt werden, die 
jeweils fur eine Filterung im Zusammenhang mit Bewegungsvek- 
toren unterschiedlicher Zuverlassigkeit geeignet sind, wobei 
die Filtermasken abhangig von einer geschatzten Zuverlassig- 
15 keit des Bewegungsvektors ausgewahlt werden. 

12. Verfahren nach einem der vorangehenden Anspruche, bei dem 
bereits erzeugte Bildpunkte des interpolierten Bildes 

der zweiten Bildfolge (ot lt (3 lf y lt 6i, 6i, fi,...) ebenfalls 
20 dem Medianf ilter zugefiihrt werden. 

13. Verfahren nach einem der vorangehenden Anspruche, bei dem 
das erste Bildsignal mittels einer linearen oder nichtlinea- 
ren Bandauf spaltung in wenigstens zwei Teilbandsignale zer- 

25 legt und das Verfahren fiir jedes der Teilbandsignale durchge- 
fiihrt wird. 

14. Verfahren nach einem der vorangehenden Anspriiche, bei dem 
das erste Videosignal ein Zeilensprungsignal ist. 

30 

15. Verfahren nach einem der Anspruche 1 bis 13, bei dem das 
erste Videosignal ein progressives Signal ist. 

16. Verwendung des Verfahrens nach einem der vorangehenden 

35 Anspriiche zur Erzeugung eines synthetischen Zeitlupensignals . 
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17. Vorrichtung zur bewegungsvektorgestutzten Konversion ei- 
nes ersten Videosignals (Sin) , das eine erste Bildfolge (Ai, 
Bi, A 2/ B 2/ A 3/ B 3/ ...) mit einer ersten Frequenz (f D rg) ent- 
halt, in ein zweites Videosignal (Sout) , das eine zweite 
Bildfolge (a lf /3 lf y lt 5 lf e lf £"!/•••) mit einer zweiten Fre- 
quenz (fint) enthalt, wobei die Vorrichtung folgende Merkmale 
auf weist : 

- Mittel zur Bewegungsschatzung (20; 201, 202), die einen Be- 
wegungsvektor (v x , v y ) bereitstellen, 

- eine Interpolationsanordnung (10; 101, 102) mit einem Medi- 
anfilter das dazu ausgebildet ist, Bilder der zweiten Bild- 
folge (ai, j6i, Ti/ §i/ ei, fi,-..), die phasenverschoben gegen- 
uber Bildern der ersten Bildfolge (Ai, B x , A 2 , B 2 , A 3 , B 3 , . . . ) 
sind, derart zu bilden, dass fur einen Bildpunkt eines Bildes 
(fl) der zweiten Bildfolge (a lt (3 lr y Xf 6 lf e lf Ti/---) Bild- 
punkt e wenigstens eines ersten Bildes (A 3 ) und eines zweiten 
Bildes (B 3 ) der ersten Bildfolge (Ai, B x , A 2 , B 2 , A 3 , B 3 ,...) 
gefiltert werden, 

- Mittel (30; 301, 302) zur Bereitstellung eines Projektions- 
faktors (piinks/ Prechts) / wobei der Projektionsf aktor jeweils 
der auf den zeitlichen Abstand zwischen dem ersten und zwei- 
ten Bild (A 3 , B3) normierte zeitliche Abstand zwischen dem 
Bild (fl) und dem ersten Bild (A 3 ) bzw. dem Bild (fl) und dem 
zweiten Bild (B3) ist, 

- eine an die Interpolationsanordnung gekoppelte Filtermas- 
kenauswahleinheit (40; 401, 402) , der wenigstens der Projek- 
tionsf aktor (punks) als Eingangs signal zugefuhrt ist, und die 
der Interpolationsanordnung (10; 101, 102) von den Eingangs- 
signalen abhangige Filtermasken zur Verfugung stellt. 

18. Vorrichtung nach Anspruch 17, die eine Vektorpro j ektions- 
einheit auf weist, der ein Proj ektionsf aktor (punks) und ein 
Bewegungsvektor (v x ,v y ) zugefuhrt sind, und die einen proji- 
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zierten Bewegungsvektor (vp x ,vp y ) bereitstellt , der der Fil- 
termaskenauswahleinheit (40; 401, 402) zugefiihrt ist. 

19. Vorrichtung nach Anspruch 17 oder 18, die folgende weite- 
5 re Merkmale aufweist: 

- Mittel zur Bandauf spaltung (60; 601, 602), die wenigstens 
ein erstes Bandsignal und wenigstens ein zweites Bandsignal 
aus dem ersten Videosignal (Sin) bereitstellen, 

10 

- eine erste an eine erste Filtermaskenauswahleinheit (401) 
angeschlossene Interpolationsanordnung (101) und eine zweite 
an eine zweite Filtermaskenauswahleinheit (402) angeschlosse- 
ne Interpolationsanordnung (102) , wobei das wenigstens eine 

15 erste Bandsignal der ersten Interpolationsanordnung (101) und 
das wenigstens eine zweite Bandsignal der zweiten Interpola- 
tionsanordnung (102) zugefiihrt ist, 

- eine Verkniipf ungsschaltung (70) , der ein Ausgangs signal der 
2 0 ersten Interpolationsanordnung (101) und ein Ausgangs signal 

der zweiten Interpolationsanordnung (102) zugefiihrt ist und 
die das zweite Videosignal (Sout) aus dem Ausgangssignal der 
ersten Interpolationsanordnung (101) und dem Ausgangssignal 
der zweiten Interpolationsanordnung (102) bereitstellt. 
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